对胎儿肺扩散加权MRI(DWI)的数据分析(IVIM)分析显示了提供定量成像的生物标志物的潜力,这些标志物是间接地反映出非侵入性胎儿肺肺部成熟评估的扩散和伪扩散的。然而,由于IVIM分析所需的大量不同的“ B值”图像,较长的获取时间,排除了临床可行性。我们介绍了Super-IVIM-DC一种深神经网络(DNN)方法,该方法将监督损失与数据矛盾项相结合,以实现IVIM分析以有限数量的B值获得的DWI数据。我们通过数值模拟,健康的志愿者研究和IVIM分析了胎儿DWI数据的胎儿肺成熟,从而证明了超级IVIM-DC在经典和最近的DNN方法中的附加价值。 %添加结果我们的数值模拟和健康的志愿者研究表明,与以前的基于DNN的方法相比,来自有限DWI数据的IVIM模型参数的超级IVIM-DC估计值较低。此外,与经典和基于DNN的方法相比,胎儿肺有限的DWI数据的伪扩散分数参数的超级IVIM-DC估计与胎龄相关(0.242 vs. -0.079和0.239)。 Super-IVIM-DC有可能减少与IVIM数据分析DWI数据相关的长期获取时间,并为非侵入性胎儿肺成熟度评估提供临床上可行的生物标志物。
translated by 谷歌翻译
Limited computational budgets often prevent transformers from being used in production and from having their high accuracy utilized. A knowledge distillation approach addresses the computational efficiency by self-distilling BERT into a smaller transformer representation having fewer layers and smaller internal embedding. However, the performance of these models drops as we reduce the number of layers, notably in advanced NLP tasks such as span question answering. In addition, a separate model must be trained for each inference scenario with its distinct computational budget. Dynamic-TinyBERT tackles both limitations by partially implementing the Length Adaptive Transformer (LAT) technique onto TinyBERT, achieving x3 speedup over BERT-base with minimal accuracy loss. In this work, we expand the Dynamic-TinyBERT approach to generate a much more highly efficient model. We use MiniLM distillation jointly with the LAT method, and we further enhance the efficiency by applying low-bit quantization. Our quantized length-adaptive MiniLM model (QuaLA-MiniLM) is trained only once, dynamically fits any inference scenario, and achieves an accuracy-efficiency trade-off superior to any other efficient approaches per any computational budget on the SQuAD1.1 dataset (up to x8.8 speedup with <1% accuracy loss). The code to reproduce this work is publicly available on Github.
translated by 谷歌翻译
多年来,开发了各种算法,试图模仿人类视觉系统(HVS)并评估感知图像质量。但是,对于某些图像扭曲,HVS的功能仍然是一个谜,与其行为相呼应仍然是一个挑战(尤其是对于不确定的扭曲)。在本文中,我们学会了相对于选定的失真比较两个注册图像的图像质量。我们的方法利用了一个事实,有时,模拟图像失真并以后评估其相对图像质量比评估其绝对值要容易。因此,给定一对图像,我们寻找一个最佳的尺寸还原函数,该功能将将每个图像映射到数值分数,以便分数反映出图像质量关系(即,较小的图像将获得较低的分数)。我们以深层神经网络的形式寻找最佳的尺寸减少映射,该映射最大程度地减少了对图像质量顺序的侵犯。随后,我们通过利用所选失真的预测水平来扩展订购一组图像的方法。我们证明了我们方法对合成和真实数据集的潜在色差和Moire畸变的有效性。
translated by 谷歌翻译
有限的计算预算通常会阻止变压器在生产中使用,并且利用高精度。 Tinybert通过将熔点蒸馏出来的较小变压器表示来解决具有较少层和更小的内部嵌入的较小变压器表示来解决计算效率。然而,当我们将层数减少50%时,Tinybert的性能下降,并且当我们将层数减少75%的高级NLP任务时,如跨度问题的接听。此外,必须为每个推理方案培训单独的型号,其中包括不同的计算预算。在这项工作中,我们呈现动态 - Tinybert,一个小博特模型,利用序列长度减小和Quand参数优化,以获得每个计算预算的增强推理效率。动态 - Tinybert仅培训一次,使用BERT进行,实现精度加速,优于任何其他有效的方法(高达3.3倍,损耗<1%)。出版后,重现我们工作的代码将是开放的。
translated by 谷歌翻译